期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 基于图注意力网络的全局图像描述生成方法
隋佳宏, 毛莺池, 于慧敏, 王子成, 平萍
《计算机应用》唯一官方网站    2023, 43 (5): 1409-1415.   DOI: 10.11772/j.issn.1001-9081.2022040513
摘要276)   HTML22)    PDF (2508KB)(174)    收藏

现有图像描述生成方法仅考虑网格的空间位置特征,网格特征交互不足,并且未充分利用图像的全局特征。为生成更高质量的图像描述,提出一种基于图注意力网络(GAT)的全局图像描述生成方法。首先,利用多层卷积神经网络(CNN)进行视觉编码,提取给定图像的网格特征和整幅图像特征,并构建网格特征交互图;然后,通过GAT将特征提取问题转化成节点分类问题,包括一个全局节点和多个局部节点,更新优化后可以充分利用全局和局部特征;最后,基于Transformer的解码模块利用改进的视觉特征生成图像描述。在Microsoft COCO数据集上的实验结果表明,所提方法能有效捕捉图像的全局和局部特征,在CIDEr(Consensus-based Image Description Evaluation)指标上达到了133.1%。可见基于GAT的全局图像描述生成方法能有效提高文字描述图像的准确度,从而可以使用文字对图像进行分类、检索、分析等处理。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 基于图注意力网络的全局图像描述生成方法
隋佳宏 毛莺池 于慧敏 王子成 平萍
《计算机应用》唯一官方网站   
录用日期: 2022-08-12